机器学习（ML）提供了在具有较大特征空间和复杂关联的数据中通常在数据中检测和建模关联的强大方法。已经开发了许多有用的工具/软件包（例如Scikit-learn），以使数据处理，处理，建模和解释的各种要素可访问。但是，对于大多数研究人员来说，将这些元素组装成严格，可复制，无偏见和有效的数据分析管道并不是微不足道的。自动化机器学习（AUTOML）试图通过简化所有人的ML分析过程来解决这些问题。在这里，我们介绍了一个简单，透明的端到端汽车管道，设计为一个框架，以轻松进行严格的ML建模和分析（最初限于二进制分类）。 Streamline专门设计用于比较数据集，ML算法和其他AutoML工具之间的性能。通过使用精心设计的一系列管道元素，通过提供完全透明且一致的比较基线，它是独特的，包括：（1）探索性分析，（2）基本数据清洁，（3）交叉验证分区，（4）数据缩放和插补，（5）基于滤波器的特征重要性估计，（6）集体特征选择，（7）通过15个已建立算法的“ Optuna”超参数优化的ML建模（包括较不知名的基因编程和基于规则的ML ），（8）跨16个分类指标的评估，（9）模型特征重要性估计，（10）统计显着性比较，以及（11）自动导出所有结果，图，PDF摘要报告以及可以轻松应用于复制数据。

Deploying machine learning models in production may allow adversaries to infer sensitive information about training data. There is a vast literature analyzing different types of inference risks, ranging from membership inference to reconstruction attacks. Inspired by the success of games (i.e., probabilistic experiments) to study security properties in cryptography, some authors describe privacy inference risks in machine learning using a similar game-based style. However, adversary capabilities and goals are often stated in subtly different ways from one presentation to the other, which makes it hard to relate and compose results. In this paper, we present a game-based framework to systematize the body of knowledge on privacy inference risks in machine learning.

A distribution inference attack aims to infer statistical properties of data used to train machine learning models. These attacks are sometimes surprisingly potent, but the factors that impact distribution inference risk are not well understood and demonstrated attacks often rely on strong and unrealistic assumptions such as full knowledge of training environments even in supposedly black-box threat scenarios. To improve understanding of distribution inference risks, we develop a new black-box attack that even outperforms the best known white-box attack in most settings. Using this new attack, we evaluate distribution inference risk while relaxing a variety of assumptions about the adversary's knowledge under black-box access, like known model architectures and label-only access. Finally, we evaluate the effectiveness of previously proposed defenses and introduce new defenses. We find that although noise-based defenses appear to be ineffective, a simple re-sampling defense can be highly effective. Code is available at https://github.com/iamgroot42/dissecting_distribution_inference

Vision Transformers (ViTs) have gained significant popularity in recent years and have proliferated into many applications. However, it is not well explored how varied their behavior is under different learning paradigms. We compare ViTs trained through different methods of supervision, and show that they learn a diverse range of behaviors in terms of their attention, representations, and downstream performance. We also discover ViT behaviors that are consistent across supervision, including the emergence of Offset Local Attention Heads. These are self-attention heads that attend to a token adjacent to the current token with a fixed directional offset, a phenomenon that to the best of our knowledge has not been highlighted in any prior work. Our analysis shows that ViTs are highly flexible and learn to process local and global information in different orders depending on their training method. We find that contrastive self-supervised methods learn features that are competitive with explicitly supervised features, and they can even be superior for part-level tasks. We also find that the representations of reconstruction-based models show non-trivial similarity to contrastive self-supervised models. Finally, we show how the "best" layer for a given task varies by both supervision method and task, further demonstrating the differing order of information processing in ViTs.

深度学习（DL）模型越来越多地为应用程序提供多种应用。不幸的是，这种普遍性也使它们成为提取攻击的有吸引力的目标，这些目标可以窃取目标DL模型的体系结构，参数和超参数。现有的提取攻击研究观察到不同DL模型和数据集的攻击成功水平不同，但其易感性背后的根本原因通常仍不清楚。确定此类根本原因弱点将有助于促进安全的DL系统，尽管这需要在各种情况下研究提取攻击，以确定跨攻击成功和DL特征的共同点。理解，实施和评估甚至单一攻击所需的绝大部分技术努力和时间都使探索现有的大量独特提取攻击方案是不可行的，当前框架通常设计用于仅针对特定攻击类型，数据集和数据集，以及硬件平台。在本文中，我们介绍捏：一个有效且自动化的提取攻击框架，能够在异质硬件平台上部署和评估多个DL模型和攻击。我们通过经验评估大量先前未开发的提取攻击情景以及次级攻击阶段来证明捏合的有效性。我们的主要发现表明，1）多个特征影响开采攻击成功跨越DL模型体系结构，数据集复杂性，硬件，攻击类型和2）部分成功的提取攻击显着增强了进一步的对抗攻击分期的成功。

深度学习研究引起了广泛的兴趣，导致出现了各种各样的技术创新和应用。由于深度学习研究的很大比例关注基于视觉的应用，因此存在使用其中一些技术来实现低功率便携式医疗保健诊断支持解决方案的潜力。在本文中，我们提出了一个基于硬件的嵌入式软件实施显微镜诊断支持系统，用于POC案例研究：（a）厚血液涂片中的疟疾，（b）痰液样品中的结核病，以及（c）（c）粪便中的肠道寄生虫感染样品。我们使用基于挤压网络的模型来减少网络大小和计算时间。我们还利用训练有素的量化技术来进一步减少学习模型的记忆足迹。这使基于显微镜的病原体检测将实验室专家级别的精度分类为独立的嵌入式硬件平台。与基于CPU的常规实施相比，提议的实施功率更高6倍，并且推理时间为$ \ sim $ 3 ms/示例。

许多关于缩放定律的研究考虑了基本因素，例如模型大小，模型形状，数据集大小和计算功率。这些因素很容易调整，代表了任何机器学习设置的基本要素。但是研究人员还采用了更复杂的因素来估计测试误差和概括性能，并具有高可预测性。这些因素通常针对域或应用。例如，特征多样性主要用于Chen等人促进SYN到真实传递。 （2021）。由于以前的作品中定义了许多缩放因素，研究这些因素如何在使用CNN模型的自我监督学习的背景下如何影响整体概括性能。个体因素如何促进概括，其中包括不同的深度，宽度或早期停止的训练时期的数量？例如，较高的特征多样性是否导致在SYN到真实传输以外的复杂环境中保持较高的精度？这些因素如何互相取决于彼此？我们发现最后一层是整个培训中最多样化的。但是，尽管模型的测试误差随着时代的增加而减少，但其多样性下降。我们还发现多样性与模型宽度直接相关。

该底漆是为了提供终身学习不同方面的详细摘要。我们从第2章开始，该第2章提供了终身学习系统的高级概述。在本章中，我们讨论了终身学习中的突出场景（第2.4节），提供8介绍，一个由不同终身学习方法组成的高级组织（第2.5节），列举Desiderata为理想的终身学习系统（第2.6节），讨论如何讨论如何讨论终身学习与其他学习范式有关（第2.7节），描述用于评估终身学习系统的常见指标（第2.8节）。对于那些毕生学习并希望在不关注特定方法或基准的读者中，本章更有用。

科学数据的一套简洁且可衡量的公平（可访问，可互操作和可重复使用的）原则正在转变用于数据管理和管理的最新实践，以支持和支持发现和创新。从这项计划中学习，并承认人工智能（AI）在科学和工程实践中的影响，我们为AI模型引入了一套实用，简洁和可衡量的公平原则。我们展示了如何在统一的计算框架内创建和共享公平的数据和AI模型，结合了以下要素：Argonne国家实验室的高级光子源，材料数据设施，科学数据和学习中心，Funcx和Argonne Leadersition的数据和学习中心计算设施（ALCF），尤其是ALCF AI测试台的Thetagpu SuperCuputer和Sambanova Datascale系统。我们描述了如何利用这种域 - 不足的计算框架来实现自主AI驱动的发现。

低功率边缘-AI功能对于支持元视野的设备扩展现实（XR）应用至关重要。在这项工作中，我们研究了两个代表性的XR工作负载：（i）手动检测和（ii）眼睛分割，用于硬件设计空间探索。对于这两种应用，我们都会训练深层神经网络，并分析量化和硬件特定瓶颈的影响。通过模拟，我们评估了CPU和两个收缩推理加速器实现。接下来，我们将这些硬件解决方案与先进的技术节点进行比较。评估了将最新的新兴非易失性记忆技术（STT/SOT/VGSOT MRAM）集成到XR-AI推论管道中的影响。我们发现，可以通过在7nm节点的设计中引入非挥发性记忆来实现手部检测（IPS = 40）和眼部分割（IPS = 6）的显着能源益处（IPS = 40）（IPS = 6）。 （推断每秒）。此外，由于MRAM与传统的SRAM相比，由于MRAM的较小形式，我们可以大大减少面积（> = 30％）。